1.5 Holdout Validation
やり方(Figure 2で示される4 steps)
1. ラベル付きデータを訓練セットとテストセットに分ける
Setting test data aside is a work-around for dealing with the imperfections of a non-ideal world, such as limited data and resources, and the inability to collect more data from the generating distribution
「テストデータを分けておくのは、データやリソースが限られていて、生成分布からこれ以上データを集められない、理想的でない世界という欠点に対処するワークアラウンド」
it is important that the test set is only used once to avoid introducing bias when we estimating the generalization performance.
「汎化性能を見積もるときにバイアスを持ち込むのを避けるため、テストセットは一度だけ使われる」
2. learning algorithmを選び、ハイパーパラメタを設定して、訓練セットでモデルを訓練する
ハイパーパラメタは訓練データから決まらない(その点でメタパラメタ)
人手で指定する
Since hyperparameters are not learned during model fitting, we need some sort of "extra procedure" or "external loop" to optimize these separately
「ハイパーパラメタを別に最適化するために私たちは"外部ループ"を必要とする」
ホールドアウトのアプローチはハイパーパラメタを決めるタスクに適さない
we have to go with some fixed hyperparameter values
「ハイパーパラメタは固定された値で進む」
3. できたモデルはどのくらいよいのかを知る(モデルの汎化性能を評価)
Since the learning algorithm has not "seen" this test set before, it should provide a relatively unbiased estimate of its performance on new, unseen data.
「訓練アルゴリズムは以前にテストセットを"見て"いないので、新しい未知のデータについてのモデルの性能の比較的バイアスのない見積りをテストセットは提供するはずだ」
4. ラベル付きデータ全てでモデルを訓練
未知のデータに対するモデルの性能(汎化性能)を知った
もはやテストセットを隠しておく必要はない
Since we assume that our samples are i.i.d., there is no reason to assume the model would perform worse after feeding it all the available data.
「サンプルはi.i.d(同一の確率分布から取り出され、互いに統計的に独立)と仮定しているので、手に入る全データでモデルを訓練したあとモデルの性能が悪化すると想定する理由はない」
経験的な目安として、アルゴリズムがより情報に富んだデータを使うとモデルはよりよい汎化性能を持つ
assuming that it has not reached its capacity, yet.